Data Science на Python: Комплексний посібник зі статистичної перевірки гіпотез

Статистична перевірка гіпотез є ключовим аспектом науки про дані, що дозволяє нам приймати обґрунтовані рішення на основі даних. Вона забезпечує структуру для оцінки доказів і визначення того, чи є твердження про сукупність імовірним. Цей комплексний посібник досліджуватиме основні концепції, методи та практичні застосування статистичної перевірки гіпотез з використанням Python.

Що таке статистична перевірка гіпотез?

По суті, перевірка гіпотез — це процес використання вибіркових даних для оцінки твердження про сукупність. Він включає формулювання двох конкуруючих гіпотез: нульової гіпотези (H0) та альтернативної гіпотези (H1).

• Нульова гіпотеза (H0): Це твердження, яке перевіряється. Зазвичай воно представляє статус-кво або відсутність ефекту. Наприклад, "Середній зріст чоловіків і жінок однаковий".
• Альтернативна гіпотеза (H1): Це твердження, для якого ми намагаємося знайти докази. Вона суперечить нульовій гіпотезі. Наприклад, "Середній зріст чоловіків і жінок різний".

Метою перевірки гіпотез є визначення, чи достатньо доказів для відхилення нульової гіпотези на користь альтернативної.

Ключові поняття в перевірці гіпотез

Розуміння наступних понять є важливим для виконання та інтерпретації перевірки гіпотез:

P-значення

P-значення — це ймовірність спостереження статистики критерію, такої ж екстремальної або більш екстремальної, ніж та, що обчислена з вибіркових даних, за умови, що нульова гіпотеза є істинною. Мале p-значення (зазвичай менше рівня значущості, альфа) свідчить про сильні докази проти нульової гіпотези.

Рівень значущості (Альфа)

Рівень значущості (α) — це попередньо визначений поріг, який визначає кількість доказів, необхідних для відхилення нульової гіпотези. Зазвичай використовуються значення для альфа 0.05 (5%) та 0.01 (1%). Якщо p-значення менше за альфа, ми відхиляємо нульову гіпотезу.

Помилки першого та другого роду

При перевірці гіпотез ми можемо зробити два типи помилок:

• Помилка першого роду (хибнопозитивний результат): Відхилення нульової гіпотези, коли вона насправді є істинною. Ймовірність зробити помилку першого роду дорівнює альфа (α).
• Помилка другого роду (хибнонегативний результат): Невдала спроба відхилити нульову гіпотезу, коли вона насправді є хибною. Ймовірність зробити помилку другого роду позначається як бета (β).

Потужність критерію

Потужність критерію — це ймовірність правильного відхилення нульової гіпотези, коли вона є хибною (1 - β). Критерій з високою потужністю має більше шансів виявити справжній ефект.

Статистика критерію

Статистика критерію — це одне число, обчислене з вибіркових даних, яке використовується для визначення, чи слід відхиляти нульову гіпотезу. Приклади включають t-статистику, z-статистику, F-статистику та статистику хі-квадрат. Вибір статистики критерію залежить від типу даних та гіпотези, що перевіряється.

Довірчі інтервали

Довірчий інтервал надає діапазон значень, у межах якого, ймовірно, знаходиться істинний параметр сукупності з певним рівнем довіри (наприклад, 95% довіри). Довірчі інтервали пов'язані з перевіркою гіпотез; якщо значення нульової гіпотези виходить за межі довірчого інтервалу, ми відхиляємо нульову гіпотезу.

Поширені критерії перевірки гіпотез у Python

Модуль scipy.stats у Python надає широкий спектр функцій для виконання статистичних перевірок гіпотез. Ось деякі з найбільш часто використовуваних критеріїв:

1. T-критерії

T-критерії використовуються для порівняння середніх значень однієї або двох груп. Існує три основні типи t-критеріїв:

• Одновибірковий t-критерій: Використовується для порівняння середнього значення однієї вибірки з відомим середнім значенням сукупності.
• T-критерій для незалежних вибірок (двовибірковий t-критерій): Використовується для порівняння середніх значень двох незалежних груп. Цей критерій припускає, що дисперсії двох груп є рівними (або може бути скоригований, якщо вони не є рівними).
• T-критерій для парних вибірок: Використовується для порівняння середніх значень двох пов'язаних груп (наприклад, вимірювання до та після на тих самих суб'єктах).

Приклад (одновибірковий t-критерій):

Припустимо, ми хочемо перевірити, чи середній бал іспиту студентів у певній школі (Японія) значно відрізняється від національного середнього (75). Ми збираємо вибірку балів з іспитів від 30 студентів.

```python import numpy as np from scipy import stats # Вибіркові дані (бали за іспит) scores = np.array([82, 78, 85, 90, 72, 76, 88, 80, 79, 83, 86, 74, 77, 81, 84, 89, 73, 75, 87, 91, 71, 70, 92, 68, 93, 95, 67, 69, 94, 96]) # Середнє значення сукупності population_mean = 75 # Виконання одновибіркового t-критерію t_statistic, p_value = stats.ttest_1samp(scores, population_mean) print("T-статистика:", t_statistic) print("P-значення:", p_value) # Перевірка, чи p-значення менше за альфа (наприклад, 0.05) alpha = 0.05 if p_value < alpha: print("Відхилити нульову гіпотезу") else: print("Не вдалося відхилити нульову гіпотезу") ```

Приклад (t-критерій для незалежних вибірок):

Скажімо, ми хочемо порівняти середній дохід розробників програмного забезпечення у двох різних країнах (Канада та Австралія). Ми збираємо дані про доходи з вибірок розробників у кожній країні.

```python import numpy as np from scipy import stats # Дані про доходи розробників у Канаді (у тисячах доларів) canada_income = np.array([80, 85, 90, 95, 100, 105, 110, 115, 120, 125]) # Дані про доходи розробників в Австралії (у тисячах доларів) australia_income = np.array([75, 80, 85, 90, 95, 100, 105, 110, 115, 120]) # Виконання t-критерію для незалежних вибірок t_statistic, p_value = stats.ttest_ind(canada_income, australia_income) print("T-статистика:", t_statistic) print("P-значення:", p_value) # Перевірка, чи p-значення менше за альфа (наприклад, 0.05) alpha = 0.05 if p_value < alpha: print("Відхилити нульову гіпотезу") else: print("Не вдалося відхилити нульову гіпотезу") ```

Приклад (t-критерій для парних вибірок):

Припустимо, компанія в Німеччині впроваджує нову програму навчання і хоче перевірити, чи вона покращує продуктивність працівників. Вони вимірюють продуктивність групи працівників до та після програми навчання.

```python import numpy as np from scipy import stats # Дані про продуктивність до навчання before_training = np.array([60, 65, 70, 75, 80, 85, 90, 95, 100, 105]) # Дані про продуктивність після навчання after_training = np.array([70, 75, 80, 85, 90, 95, 100, 105, 110, 115]) # Виконання t-критерію для парних вибірок t_statistic, p_value = stats.ttest_rel(after_training, before_training) print("T-статистика:", t_statistic) print("P-значення:", p_value) # Перевірка, чи p-значення менше за альфа (наприклад, 0.05) alpha = 0.05 if p_value < alpha: print("Відхилити нульову гіпотезу") else: print("Не вдалося відхилити нульову гіпотезу") ```

2. Z-критерії

Z-критерії використовуються для порівняння середніх однієї або двох груп, коли стандартне відхилення сукупності відоме або коли розмір вибірки є достатньо великим (зазвичай n > 30). Подібно до t-критеріїв, існують одновибіркові та двовибіркові z-критерії.

Приклад (одновибірковий Z-критерій):

Завод, що виробляє лампочки у В'єтнамі, стверджує, що середній термін служби їхніх лампочок становить 1000 годин з відомим стандартним відхиленням 50 годин. Група споживачів тестує вибірку з 40 лампочок.

```python import numpy as np from scipy import stats from statsmodels.stats.weightstats import ztest # Вибіркові дані (термін служби лампочок) lifespan = np.array([980, 1020, 990, 1010, 970, 1030, 1000, 960, 1040, 950, 1050, 940, 1060, 930, 1070, 920, 1080, 910, 1090, 900, 1100, 995, 1005, 985, 1015, 975, 1025, 1005, 955, 1045, 945, 1055, 935, 1065, 925, 1075, 915, 1085, 895, 1095]) # Середнє значення та стандартне відхилення сукупності population_mean = 1000 population_std = 50 # Виконання одновибіркового z-критерію z_statistic, p_value = ztest(lifespan, value=population_mean) print("Z-статистика:", z_statistic) print("P-значення:", p_value) # Перевірка, чи p-значення менше за альфа (наприклад, 0.05) alpha = 0.05 if p_value < alpha: print("Відхилити нульову гіпотезу") else: print("Не вдалося відхилити нульову гіпотезу") ```

3. ANOVA (дисперсійний аналіз)

ANOVA використовується для порівняння середніх значень трьох або більше груп. Він перевіряє, чи існує значна різниця між середніми значеннями груп. Існують різні типи ANOVA, включаючи однофакторний ANOVA та двофакторний ANOVA.

Приклад (однофакторний ANOVA):

Маркетингова компанія в Бразилії хоче перевірити, чи три різні рекламні кампанії мають значний вплив на продажі. Вони вимірюють продажі, згенеровані кожною кампанією.

```python import numpy as np from scipy import stats # Дані про продажі для кожної кампанії campaign_A = np.array([100, 110, 120, 130, 140]) campaign_B = np.array([110, 120, 130, 140, 150]) campaign_C = np.array([120, 130, 140, 150, 160]) # Виконання однофакторного ANOVA f_statistic, p_value = stats.f_oneway(campaign_A, campaign_B, campaign_C) print("F-статистика:", f_statistic) print("P-значення:", p_value) # Перевірка, чи p-значення менше за альфа (наприклад, 0.05) alpha = 0.05 if p_value < alpha: print("Відхилити нульову гіпотезу") else: print("Відхилити нульову гіпотезу") ```

4. Критерій хі-квадрат

Критерій хі-квадрат використовується для аналізу категоріальних даних. Він перевіряє, чи існує значний зв'язок між двома категоріальними змінними.

Приклад (критерій хі-квадрат):

Опитування в Південній Африці запитує людей про їхню політичну приналежність (демократ, республіканець, незалежний) та їхню думку щодо певної політики (підтримка, опозиція, нейтрально). Ми хочемо перевірити, чи існує зв'язок між політичною приналежністю та думкою щодо політики.

```python import numpy as np from scipy.stats import chi2_contingency # Спостережувані частоти (таблиця спряженості) observed = np.array([[50, 30, 20], [20, 40, 40], [30, 30, 40]]) # Виконання критерію хі-квадрат chi2_statistic, p_value, dof, expected = chi2_contingency(observed) print("Статистика хі-квадрат:", chi2_statistic) print("P-значення:", p_value) print("Ступені свободи:", dof) print("Очікувані частоти:", expected) # Перевірка, чи p-значення менше за альфа (наприклад, 0.05) alpha = 0.05 if p_value < alpha: print("Відхилити нульову гіпотезу") else: print("Не вдалося відхилити нульову гіпотезу") ```

Практичні аспекти

1. Припущення для перевірки гіпотез

Багато критеріїв перевірки гіпотез мають специфічні припущення, які повинні виконуватися, щоб результати були валідними. Наприклад, t-критерії та ANOVA часто припускають, що дані мають нормальний розподіл та рівні дисперсії. Важливо перевіряти ці припущення перед інтерпретацією результатів критеріїв. Порушення цих припущень може призвести до неточних висновків.

2. Розмір вибірки та аналіз потужності

Розмір вибірки відіграє вирішальну роль у потужності критерію перевірки гіпотез. Більший розмір вибірки, як правило, збільшує потужність критерію, що робить його більш імовірним для виявлення справжнього ефекту. Аналіз потужності може бути використаний для визначення мінімального розміру вибірки, необхідного для досягнення бажаного рівня потужності.

Приклад (аналіз потужності):

Скажімо, ми плануємо t-критерій і хочемо визначити необхідний розмір вибірки для досягнення потужності 80% при рівні значущості 5%. Нам потрібно оцінити розмір ефекту (різницю між середніми, яку ми хочемо виявити) та стандартне відхилення.

```python from statsmodels.stats.power import TTestIndPower # Параметри effect_size = 0.5 # d Коена alpha = 0.05 power = 0.8 # Виконання аналізу потужності analysis = TTestIndPower() sample_size = analysis.solve_power(effect_size=effect_size, power=power, alpha=alpha, ratio=1) print("Необхідний розмір вибірки на групу:", sample_size) ```

3. Множинне тестування

При виконанні кількох перевірок гіпотез ймовірність зробити помилку першого роду (хибнопозитивний результат) зростає. Щоб вирішити цю проблему, важливо використовувати методи коригування p-значень, такі як поправка Бонферроні або процедура Бенджаміні-Хохберга.

4. Інтерпретація результатів у контексті

Важливо інтерпретувати результати перевірки гіпотез у контексті дослідницького питання та даних, що аналізуються. Статистично значущий результат не обов'язково означає практичну значущість. Враховуйте величину ефекту та його реальні наслідки.

Розширені теми

1. Баєсова перевірка гіпотез

Баєсова перевірка гіпотез пропонує альтернативний підхід до традиційної (частотної) перевірки гіпотез. Вона включає обчислення фактора Баєса, який кількісно оцінює докази на користь однієї гіпотези над іншою.

2. Непараметричні критерії

Непараметричні критерії використовуються, коли припущення параметричних критеріїв (наприклад, нормальність) не виконуються. Приклади включають U-критерій Манна-Уітні, критерій знакових рангів Вілкоксона та критерій Крускала-Уолліса.

3. Методи ресемплінгу (бутстреп та пермутаційні тести)

Методи ресемплінгу, такі як бутстреп та пермутаційні тести, надають спосіб оцінити вибірковий розподіл статистики критерію, не роблячи сильних припущень щодо розподілу базової сукупності.

Висновок

Статистична перевірка гіпотез є потужним інструментом для прийняття рішень на основі даних у різних галузях, включаючи науку, бізнес та інженерію. Розуміючи основні концепції, методи та практичні аспекти, фахівці з data science можуть ефективно використовувати перевірку гіпотез для отримання інсайтів з даних та формулювання значущих висновків. Модуль scipy.stats у Python надає повний набір функцій для виконання широкого спектра перевірок гіпотез. Пам'ятайте про необхідність ретельно розглядати припущення кожного критерію, розмір вибірки та можливість множинного тестування, а також інтерпретувати результати в контексті дослідницького питання. Цей посібник є міцною основою для того, щоб ви почали застосовувати ці потужні методи до реальних проблем. Продовжуйте досліджувати та експериментувати з різними критеріями та техніками, щоб поглибити своє розуміння та вдосконалити свої навички в галузі науки про дані.

Подальше навчання:

• Онлайн-курси зі статистики та науки про дані (наприклад, Coursera, edX, DataCamp)
• Підручники зі статистики
• Документація до модуля scipy.stats у Python
• Наукові роботи та статті про конкретні методи перевірки гіпотез